TraceBench: Controlled Evaluation of LLM Agents for Time-Series Root-Cause Attribution
TraceBench：受控评估 LLM 智能体的时序根因归因
🧭 LLM Agent 时序根因归因评测
ETH Zürich · CSEM SA · Independent Researcher
提出 TraceBench 仿真基准，系统评估 LLM agent 在受控机械系统时序数据上的根因归因能力
📌 工作参考价值（4 点）
- 构建诊断/归因类 agent（如广告投放异常、推荐效果波动归因）时，显式提供系统或业务领域上下文能显著提升归因效果，应把领域知识入口作为核心设计。
- 让 agent 优先通过结构化数值/表格输出探索数据，而非依赖可视化；在工具接口上优先提供数值 console 输出，更符合 LLM 的使用习惯。
- 评估归因/诊断能力时，可用仿真或可控生成的数据集构造“参数是否变化+定位哪个参数”的判别式任务，量化根因归因性能。
- 避免强制 agent 生成 Python 脚本来输出标签，直接允许提交预测结果在多数场景下性能更好；若需脚本模式，应单独评估该环节的损失。